AWS re:Invent 2024の2日目（現地日付12/3）のアップデートまとめてみた #AWSreInvent
2024.12.05こんちには。
データ事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。
みなさま、re:Invent 2024楽しんでいますか？
連日アップデートが多すぎて追いきれない！乗り遅れてしまった！
そんな方のために現地日時12/3に発表されたアップデートについて本記事でまとめていきます。
私は現地参加しない「エア」re:Invent勢ですが、本記事が現地参加の方やその他の「エア」参加の方の参考になれば幸いです。
なお、一定のカテゴリにまとめていますが、筆者の主観によりカテゴリ分けを決めてしまっていますので、悪しからずご了承ください。
また先行して速報ブログや、やってみたブログが書いてあるのもについてはそちらを大変参考にさせて頂いております。
それでは、紹介していきます。
（なお過去分は以下から参照くださいませ）
トピック
- AWS謹製の基盤モデルシリーズNovaが発表
- Amazon Aurora DSQLの発表
- Amazon Q Developerが本活活用可能な機能が多数発表
- Lakehouseを内包する次世代SageMakerの発表
生成AI・機械学習 (Bedrock)
Bedrockに新しい基盤モデルのシリーズAmazon Novaが発表
テキスト生成をするモデルは小さい方からMicro、Lite、Proがあり、Micro以外は画像と動画の入力も可能なマルチモーダルモデルとなっています。
またMicro以外は200言語以上の多言語に対応しており、明記はないものの日本語対応と考えて差し支えないと思います。
また画像生成モデルとしてCanvas、動画生成モデルとしてReelも同じNovaシリーズに含まれています。
今後のNovaシリーズの拡張が考えられており、テキスト生成についてはProよりもさらに上位のPremierモデルがリリース予定となっています。
それに加え、音声を入力して音声を出力するSpeech-to-Speechや、様々なモーダルのものを様々なモーダルとして出力すると考えられるAny-to-AnyもComming Soonとしてアナウンスされました。
Novaシリーズのモデルはバージニアリージョンで利用することができます。
- DevIO
- https://dev.classmethod.jp/articles/amazon-nova-series-model-announced-aws-reinvent/
- https://dev.classmethod.jp/articles/amazon-nova-awsreinvent-try/
- https://dev.classmethod.jp/articles/amazon-nova-canvas-awsreinvent/
- https://dev.classmethod.jp/articles/amazon-nova-text-generation-model-investigation-aws-reinvent/
- What's New
- AWS Blog
- ユーザガイド
- 論文
Bedrock Model Distillationにより大規模言語モデルの蒸留が可能に (Preview)
蒸留自体は昔からある手法で「知識蒸留(Knowledge Distillation)」と呼ばれていましたが、今回こちらがBedrockのカスタムモデルを作る機能として使えるようになりました。
通常、モデルのチューニングでは入力データと正解データが必要となり、特に正解データの準備が手間がかかり難しかったのですが、蒸留ではチューニング対象のモデルよりも性能の高いモデルの出力を正解として使うことで、入力データから自動で正解を生成することができます。
性能の高いモデルを教師モデル(Teacher)とよび、チューニング対象のモデルをStudentと呼びます。その性質上教師モデルは超えれないのですが、同等に近い性能をより安価なモデルで実現することが可能です。
- DevIO
- What's New
- AWS Blog
Bedrock Guardrailsの新しい機能としてAutomated Reasoning checksが発表され、論理的思考の自動チェックが可能に (Preview)
通常のGuardrailsの機能は望ましくないコンテンツのフィルタリングに対応しており、医療などの拒否されたトピック、特定のコンテンツや単語のフィルタ、個人情報のマスクなどが可能でした。
Automated Reasoning checksはこれに加え、従来生成AIでは苦手とされていた「数学的・論理的に正しいかどうか」の根拠をチェックすることが可能なようです。
これにより生成AIによるハルシネーション（幻覚）を低減することが可能となります。
- DevIO
- What's New
- AWS Blog
Amazon Bedrockに複数AIエージェントの協調機能「multi-agent collaboration」が追加 (Preview)
生成AIにおけるエージェントは通常、単一のタスク（旅行の予約）を複数のツールを活用して行うものでしたが、それでは汎用性に限界がありました。
そのため単一のタスクに紐づいた複数のサブエージェントを準備し、それらをまとめるスーパーバイザー的なエージェントが統括することで、より大きな目標に対するエージェントを作ることが可能となります。
- DevIO
- What's New
- AWS Blog
生成AI・機械学習 (Q Developer)
Amazon Q Developer のユニットテスト生成機能が使用可能に
VSCodeなどのIDEでAmazon Qを呼び出すことで、ユニットテストの自動生成が可能となる機能です。
- DevIO
- What's New
- AWS Blog
Amazon Q Developer のドキュメント自動生成が使用可能に
VSCodeなどのIDEでAmazon Qを呼び出すことで、README.mdなどのドキュメントを自動生成が可能となる機能です。
見出しなどもきちんと使用され、データフロー図も綺麗に作成してくれるようです。
- DevIO
- What's New
- AWS Blog
Amazon Q Developer のコードレビュー自動化機能が使用可能に
VSCodeなどのIDEでAmazon Qを呼び出すことで、重要度に分けたコードレビューを得ることが可能です。
- DevIO
- What's New
- AWS Blog
GitLab Duo with Amazon Qにより高度なエージェント機能をGitLabに組み込む事が可能に (Preview)
具体的にはGitLabの起票されたIssueに基づき、コード全体を生成し、マージリクエスト（GitHubでいうプルリクエスト）が生成されます。
そしてそれをユーザがレビューをすることができますが、その際にさらに変更を指示したり、サードパーティのソースが含まれていることを警告に対処することが可能です。
ただし本機能は現在のところSaaS版では利用できず、Ultimateサブスクリプションを利用しているセルフマネージド・カスタマー向けにプレビュー提供されているため、その点は注意が必要です。
- DevIO
- What's New
- AWS Blog
Amazon Q Developerに運用調査機能が追加 (Preview)
本機能を使うと、Amazon Q DeveloperがAWS環境やリソースを理解した上で、何らかの問題が起こっているかを調査したり、問題解決をするためのネクストアクションを提示することが可能です。
調査対象となるのはEC2やECS、DynamoDB、S3、Lambdaなどいくつかのサービスに対応しています。
- DevIO
- What's New
- AWS Blog
Amazon Q Developerのコード変換機能で.NETサポートがプレビューに (Preview)
コード変換機能はJavaが既にサポートされていたのですが、.NETをはじめ様々なプラットフォームの変換機能が Amazon Q Developerで今回サポートされています。
- DevIO
- What's New
- AWS Blog
Amazon Q Developerが、VMwareワークロードのクラウドネイティブアーキテクチャへの変換をサポート (Preview)
Amazon Q Developerに移行プランを作成するように依頼をすると、VMware仮想マシンをAmazon EC2に移行するためにまずは何をするべきかのプランが提示されます。
- DevIO
- AWS Blog
メインフレームモダナイゼーションのためのAmazon Q Developerの変換機能が利用可能に (Preview)
Amazon Q Developer のエージェントは、アプリケーション資産を自律的に分類、整理し、包括的なコードドキュメントを作成して、組織の知識ベースを理解、拡張します。
次に生成AIにモダナイゼーションの専門知識を組み合わせて、モダナイゼーションを計画して提案します。
提案されたプランを承認すると、Amazon Q Developerは、ビジネスロジックを保持したまま、COBOLコードをクラウドに最適化されたJavaコードに自律的にリファクタリングします。
- What's New
- AWS Blog
生成AI・機械学習 (Q Business)
Amazon Q BusinessのAmazon Q indexとの統合によりISVはジェネレーティブAI体験を強化することが可能に
この機能によりISVはAmazon Q indexと統合することで、単一のAPIを通じて複数のソースからデータを取得し、Amazon Qの組み込みアシスタントのデザインをカスタマイズできるようになりました。
本機能はキーノートではAsanaを使ったデモが紹介されており、New Relicなども連携が可能なサービスのようです。
- DevIO
- AWS Blog
Amazon Q Business、人気のビジネスアプリケーションとプラットフォーム向けに50以上のアクションを導入
PagerDuty、Salesforce、Jira、Smartsheet、ServiceNowなど、広く使用されているビジネスツールを幅広くカバーするプラグインが導入されました。
これによりユーザーはチケットの作成や更新、インシデントの管理、プロジェクト情報へのアクセスなどのタスクをAmazon Q Business内から直接実行できるようになりました。
これらを活用した新しいワークフローの自動化機能は、近日公開予定となっています。
- What's New
- AWS Blog
Amazon Q BusinessはQ in QuickSightとの統合によりデータベースやデータウェアハウスからの洞察を提供 (Preview)
元々はQ in QuickSightの機能を使うと、QuickSight上でデータセットとトピックを作成したに対して、自然言語で質問を行うことによりインサイトを得ることが出来ていました。
今回、Amazon Q BusinessがこのQ in QuickSightを統合することができるようになり、Q Businessのチャット機能からQuickSightのデータセットやトピックにアクセスすることができるようになっています。
これによってQ Businessの非構造化データとQuickSightの構造化データ双方を使った回答が、Q Businessで可能となっています。
- DevIO
- What's New
- AWS Blog
Q in QuickSightはAmazon Q Businessとの統合により、構造化および非構造化データソースからの統合された洞察を提供
Amazon Q in QuickSightは、Amazon Q Businessとの統合により、QuickSight内の構造化データとQ Businessの非構造化データを使った分析が可能となっています。
これにより、従来のBIデータ・ソースからの洞察を、非構造化ソースからのコンテキスト情報によって補強することが可能となっています。
- DevIO
- What's New
生成AI・機械学習 (Sagemaker)
データ、アナリティクス、AIの統合プラットフォームとなるAmazon SageMakerの次世代版を発表
新しいSageMakerでは、広く採用されているAWSの機械学習とアナリティクスの機能が統合され、データへの統一されたアクセスと組み込みのガバナンスにより、アナリティクスとAIのための統合されたエクスペリエンスが提供されます。
より具体的には3つの機能から構成されているようです。
- Amazon SageMaker Lakehouse
- Amazon SageMaker Data and AI Governance
- Amazon SageMaker Unified Studio（Preview）
SageMaker Lakehouseはデータレイク（S3）とデータウェアハウス（Amazon Redshift）にまたがるデータを統合する機能で、次世代SageMakerの根幹を担っていると思います
Amazon SageMaker Data and AI Governanceは、DataZoneがこの新しいSageMaker（マネジメントコンソール上はSageMaker Platform）の一部となったことに関連しています。
新しいSageMaker内でDataZoneが使用され、DataZone上に構築されたSageMaker Catalogを中心に、データとAIのガバナンス機能を実現しているようです。
余談ですがSageMaker Platformは紫のサービスアイコンとなっており、アナリティクスサービスの位置づけと考えられます。
また従来のSageMakerはマネジメントコンソール上はSageMaker AIという名前となっていました。（こちらは緑のサービスアイコン）
最後に、SageMaker Unified Studioはこれらを用いた統合開発環境(IDE)となっています。
Unified StudioからDataZone機能は利用することができ、Lakehouseに対するクエリもUnified Studioから可能となっています。
- What's New
- AWS Blog
SageMaker Unified Studioの発表 (Preview)
Unified Studioは前述の通り、SageMaker LakehouseやDataZoneが組み込まれたSageMaker Data and AI Governance機能を使った、統合開発環境(IDE)です。
また、Amazon Bedrock IDE(旧Amazon Bedrock Studio)もこのUnified Studioの一部となっており、生成AIアプリケーションの構築やカスタマイズもこのIDEで実現できます。
- What's New
SageMaker Data and AI GovernanceによりデータとAIアセットのカタログ化、発見、管理のための統一されたエクスペリエンスを提供
SageMaker Data and AI Governanceは、データとAIアセットのカタログ化、発見、管理のための統一されたエクスペリエンスを提供することで、包括的な一連の機能を提供します。
DataZone上に構築されたSageMakerカタログを中心に、Amazon SageMaker Unified Studio (プレビュー) からアクセス可能な一元化されたリポジトリを提供します。
Amazon DataZoneと次世代Amazon SageMakerにおけるデータリネージの一般提供を発表
AWS GlueとAmazon Redshiftから自動的にリネージをキャプチャし、ソースから消費までのリネージイベントを可視化する機能である、Amazon DataZoneと次世代Amazon SageMakerにおけるデータリネージの一般提供を発表しました。
- What's New
- AWS Blog
Amazon SageMaker Lakehouseを発表
Amazon SageMaker Lakehouseはデータレイク（S3）とデータウェアハウス（Amazon Redshift）にまたがるデータを統合する機能です。
SageMaker Lakehouseは、Apache Icebergと互換性のあるすべてのエンジンとツールで、インプレースでデータにアクセスしてクエリできる柔軟性を提供します。
より具体的には、 Amazon EMR、AWS Glue、Amazon Redshift、Apache Sparkなどのエンジンからクエリが可能です。またSageMaker Unified Studioからでもクエリが可能となっています。
SageMaker Lakehouseを使用すると、一元的にきめ細かな権限を定義し、複数のAWSサービスにわたって権限を適用できるため、データの共有とコラボレーションが簡素化されます。
データを取り込みについては既存のデータレイクやデータウェアハウスからシームレスにデータにアクセスできるだけではありません。
Amazon Aurora、Amazon RDS for MySQL、Amazon DynamoDBなどのデータベースや、Salesforce、SAPなどのアプリケーションからゼロETLを使用できます。
- What's New
- https://aws.amazon.com/about-aws/whats-new/2024/12/aws-announces-amazon-sagemaker-lakehouse/
- 関連アップデート
- https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-sagemaker-lakehouse-integrated-access-controls-athena-federated-queries/
- https://aws.amazon.com/about-aws/whats-new/2024/12/aws-expands-data-connectivity-amazon-sagemaker-lakehouse-glue/
- https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-dynamo-db-zero-etl-integration-sagemaker-lakehouse/
- https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-sagemaker-lakehouse-redshift-zero-etl-integrations-eight-applications/
- AWS Blog
- https://aws.amazon.com/jp/blogs/aws/simplify-analytics-and-aiml-with-new-amazon-sagemaker-lakehouse/
- 関連アップデート
- https://aws.amazon.com/jp/blogs/aws/amazon-sagemaker-lakehouse-integrated-access-controls-now-available-in-amazon-athena-federated-queries/
- https://aws.amazon.com/jp/blogs/aws/introducing-amazon-sagemaker-lakehouse-support-for-zero-etl-integrations-from-applications/
- https://aws.amazon.com/jp/blogs/aws/new-amazon-dynamodb-zero-etl-integration-with-amazon-sagemaker-lakehouse/
Amazon SageMakerが推論最適化ツールキットのアップデートを発表
推論最適化ツールキットのアップデートを発表し、生成AIモデルをより速く最適化するための新機能と機能強化を提供します。
具体的には投機的（Speculative）デコード処理のサポート、FP8量子化のサポート、TensorRT-LLMのコンパイルなどの機能を新たに提供しています。
アナリティクス
分析に最適化されたフルマネージドApache Icebergテーブル、Amazon S3 Tablesが発表
S3バケットは元々汎用バケット、ディレクトリバケットの2つを提供していましたが、この発表でテーブルバケットという3つ目のバケットができたことになります。
S3 Tablesは表形式データに最適化されたストレージを提供し、クエリ・パフォーマンスは最大3倍速く、1秒あたりのトランザクション数は最大10倍多くなります。
さらにフルマネージド・サービスを利用することにより、コンパクションやスナップショット管理、参照されてないオブジェクトの削除などが自動的に実行され、運用効率向上も期待できるようです。
注意点としてS3 TablesとAWS Glue Data Catalogの統合はプレビュー中で、AthenaやRedshift、EMR、QuickSightのようなサービスを使用してデータをクエリ・可視化することができます。
- What's New
- AWS Blog
オブジェクトメタデータを自動的に生成し効率的なクエリを可能にするS3 Metadataの発表 (Preview)
S3 Metadataは、S3オブジェクトの追加や変更時に自動的にメタデータを生成し、Apache Icebergテーブルに保存します。
このメタデータはテーブルバケットに保存されますので、アップロード対象のS3バケットに加え、テーブルバケットが必要になります。
メタデータにはバケット名、オブジェクトキー、作成/変更時間、ストレージクラス、暗号化状態、タグ、ユーザーメタデータなど20以上の要素が含まれます。
これらのメタデータを用いてAthenaやEMR、Redshift、QuickSightからのクエリを効率的に実行することができます。
さらに、S3 MetadataはAmazon Bedrockと統合され、AIが生成した動画に、そのAIの起源、作成タイムスタンプ、生成に使用されたモデルを特定するメタデータを記録することも可能になっています。
- DevIO
- What's New
- AWS Blog
Glue Data Catalogが新規テーブルの統計情報を自動生成するように
AWS Glue Data Catalog は、新しいテーブルの統計情報を自動生成するようになりました。
これらの統計情報は、Amazon RedshiftおよびAmazon Athenaのコストベースオプティマイザー(CBO)と統合され、クエリパフォーマンスの向上とコスト削減の可能性をもたらします。
この機能はLake Formationコンソールでデフォルトカタログを選択し、テーブル最適化構成タブでテーブル統計を有効にすることで開始することが可能です。
- What's New
- AWS Blog
AWS Glue 5.0が一般提供開始され、パフォーマンス向上やセキュリティ強化、次世代SageMakerのサポートを実現
AWS Glue 5.0は、Apache Spark 3.5.2、Python 3.11、Java 17にエンジンをアップグレードし、パフォーマンスとセキュリティを新たに改善しています。
またAWS Lake FormationでSparkネイティブのきめ細かいアクセス制御を追加し、Amazon S3データレイクにテーブル、列、行、セルレベルのパーミッションを適用できるようにします。
これが次世代SageMakerのSageMaker Lakehouse対応につながっています。
Amazon S3 Access GrantsがAWS Glueと統合
S3 Access Grantsは、Entra IDやOkta、IAMプリンシパルなどのIdentity Provider(IdP)からのIDを、Amazon S3に保存されたデータセットにマッピングする機能です。
この機能がGlueに統合され、既存の企業ディレクトリ内のユーザーやグループ、またはIAMユーザーやロールに、S3内のバケットまたはプレフィックスへのアクセス許可を付与できます。
- What's New
コンテナ・コンピューティング
NVIDIA Blackwell アーキテクチャのGPUが搭載される予定のP6インスタンスがアナウンス
新しいGPUインスタンスとして、P6がアナウンスされました。こちらはNVIDIA Blackwell アーキテクチャのGPUが搭載される予定のインスタンスとなっています。
Blackwellは「NVIDIA GTC 2024」で発表された次世代のGPUです。
AWS Trainium2を搭載するTrn2インスタンスがGA、Trn2を4台で構成したTran2 UltraServerがプレビュー
Trainium2はAIトレーニング向けのカスタムチップで、re:Invent 2023でプレビューされていましたが、この度GAとなりました。
Trn2インスタンスは、現行世代のGPUベースのEC2 P5eおよびP5enインスタンスよりも30～40%優れた価格パフォーマンスを提供します。
オハイオリージョンで利用可能で、Amazon EC2 Capacity Blocks for MLで予約することで使用可能なようです。
- DevIO
- What's New
- AWS Blog
AWS Trainium3がアナウンス
また次の世代のTrainium3についてもキーノートの中でアナウンスされました。
データベース
リージョンを超えて強い一貫性を持つAmazon Aurora DSQLが発表 (Preview)
Aurora DSQLは事実上無制限のスケールするサーバーレスな分散SQLデータベースです。
マルチリージョン構成にすることで最大99.999%の可用性を備えつつ、リージョン間の整合性を担保した書き込みが可能なデータベースとなっています。
PosgresSQL互換となっていますが、外部キー制約が使えないなどの制限もあるので、詳しくは以下の制限事項もご確認ください。
クエリのパフォーマンスとしては、DSQLは楽観的同時実行制御を採用しているため、リージョン間で衝突や競合が多発する場合はパフォーマンスが劣化するため注意が必要です。
参考までに、re:Invent 2023で発表され、今年11月にGAとなったLimitless Databaseは、シャーディングによる水平スケールで、書き込み性能やペタバイトクラスのデータに対応したデータベースでした。
こちらはエンドポイントがVPCに存在していましたが、Aurora DSQLはVPCではなくパブリックにエンドポイントが存在している点も特徴で、Lambdaなどからのアクセスがよりしやすいデータベースとなっているかと思います。
- DevIO
- What's New
- AWS Blog
- ユーザガイド
DynamoDB Global Tableがマルチリージョンの強い整合性をサポート (Preview)
マルチリージョンでデータをレプリケーションするようなDBでは結果整合性となっている場合が多いのですが、今回DynamoDB Global Tableが強い整合性をサポートするようになりました。
通常のリージョナルなDynamoDBテーブルと同様、強い整合性とすることで料金は増加しますが、この機能によりマルチリージョンかつ整合性が求められるシステムであっても、DynamoDBを使用することができます。
- DevIO
- What's New
まとめ
いかがでしたでしょうか。12/03はキーノートで多数の発表がありましたね！これからの発表にも期待が高まります。
本記事がみなさまのお話のネタになれば幸いです。
![[やってみた]「AWS re:Invent 5K Race」に参加後、MGM Grandにて8:30開始のセッションに間に合うか挑戦してみた。](https://images.ctfassets.net/ct0aopd36mqt/3aqf4zA8eWdIL3CoGscPpm/224083826f6e4dd7b971c4967b706ad8/reinvent-2024-try-jp.jpg)
![[EXPOレポート] Build with AWS Partner Solutions ブースの紹介](https://devio2024-media.developers.io/image/upload/v1733353802/user-gen-eyecatch/sdzrpwe66dfjyckuev3c.jpg)
